home *** CD-ROM | disk | FTP | other *** search
/ Over 1,000 Windows 95 Programs / Over 1000 Windows 95 Programs (Microforum) (Disc 1).iso / 0957 / gnugrep / gui / dfa.h < prev    next >
C/C++ Source or Header  |  1996-07-15  |  15KB  |  370 lines
  1. /* dfa.h - declarations for GNU deterministic regexp compiler
  2.    Copyright (C) 1988 Free Software Foundation, Inc.
  3.  
  4.    This program is free software; you can redistribute it and/or modify
  5.    it under the terms of the GNU General Public License as published by
  6.    the Free Software Foundation; either version 2, or (at your option)
  7.    any later version.
  8.  
  9.    This program is distributed in the hope that it will be useful,
  10.    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11.    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12.    GNU General Public License for more details.
  13.  
  14.    You should have received a copy of the GNU General Public License
  15.    along with this program; if not, write to the Free Software
  16.    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.  */
  17.  
  18. /* Written June, 1988 by Mike Haertel */
  19.  
  20. /* FIXME:
  21.    2.  We should not export so much of the DFA internals.
  22.    In addition to clobbering modularity, we eat up valuable
  23.    name space. */
  24.  
  25. /* Number of bits in an unsigned char. */
  26. #ifdef __cplusplus
  27. extern "C" {
  28. #endif
  29. #define __STDC__ 1
  30.  
  31. #define CHARBITS 8
  32.  
  33. /* First integer value that is greater than any character code. */
  34. #define NOTCHAR (1 << CHARBITS)
  35.  
  36. /* INTBITS need not be exact, just a lower bound. */
  37. #define INTBITS (CHARBITS * sizeof (int))
  38.  
  39. /* Number of ints required to hold a bit for every character. */
  40. #define CHARCLASS_INTS ((NOTCHAR + INTBITS - 1) / INTBITS)
  41.  
  42. /* Sets of unsigned characters are stored as bit vectors in arrays of ints. */
  43. typedef int charclass[CHARCLASS_INTS];
  44.  
  45. /* The regexp is parsed into an array of tokens in postfix form.  Some tokens
  46.    are operators and others are terminal symbols.  Most (but not all) of these
  47.    codes are returned by the lexical analyzer. */
  48.  
  49. typedef enum
  50. {
  51.   END = -1,            /* END is a terminal symbol that matches the
  52.                    end of input; any value of END or less in
  53.                    the parse tree is such a symbol.  Accepting
  54.                    states of the DFA are those that would have
  55.                    a transition on END. */
  56.  
  57.   /* Ordinary character values are terminal symbols that match themselves. */
  58.  
  59.   EMPTY = NOTCHAR,        /* EMPTY is a terminal symbol that matches
  60.                    the empty string. */
  61.  
  62.   BACKREF,            /* BACKREF is generated by \<digit>; it
  63.                    it not completely handled.  If the scanner
  64.                    detects a transition on backref, it returns
  65.                    a kind of "semi-success" indicating that
  66.                    the match will have to be verified with
  67.                    a backtracking matcher. */
  68.  
  69.   BEGLINE,            /* BEGLINE is a terminal symbol that matches
  70.                    the empty string if it is at the beginning
  71.                    of a line. */
  72.  
  73.   ENDLINE,            /* ENDLINE is a terminal symbol that matches
  74.                    the empty string if it is at the end of
  75.                    a line. */
  76.  
  77.   BEGWORD,            /* BEGWORD is a terminal symbol that matches
  78.                    the empty string if it is at the beginning
  79.                    of a word. */
  80.  
  81.   ENDWORD,            /* ENDWORD is a terminal symbol that matches
  82.                    the empty string if it is at the end of
  83.                    a word. */
  84.  
  85.   LIMWORD,            /* LIMWORD is a terminal symbol that matches
  86.                    the empty string if it is at the beginning
  87.                    or the end of a word. */
  88.  
  89.   NOTLIMWORD,            /* NOTLIMWORD is a terminal symbol that
  90.                    matches the empty string if it is not at
  91.                    the beginning or end of a word. */
  92.  
  93.   QMARK,            /* QMARK is an operator of one argument that
  94.                    matches zero or one occurences of its
  95.                    argument. */
  96.  
  97.   STAR,                /* STAR is an operator of one argument that
  98.                    matches the Kleene closure (zero or more
  99.                    occurrences) of its argument. */
  100.  
  101.   PLUS,                /* PLUS is an operator of one argument that
  102.                    matches the positive closure (one or more
  103.                    occurrences) of its argument. */
  104.  
  105.   REPMN,            /* REPMN is a lexical token corresponding
  106.                    to the {m,n} construct.  REPMN never
  107.                    appears in the compiled token vector. */
  108.  
  109.   CAT,                /* CAT is an operator of two arguments that
  110.                    matches the concatenation of its
  111.                    arguments.  CAT is never returned by the
  112.                    lexical analyzer. */
  113.  
  114.   OR,                /* OR is an operator of two arguments that
  115.                    matches either of its arguments. */
  116.  
  117.   ORTOP,            /* OR at the toplevel in the parse tree.
  118.                    This is used for a boyer-moore heuristic. */
  119.  
  120.   LPAREN,            /* LPAREN never appears in the parse tree,
  121.                    it is only a lexeme. */
  122.  
  123.   RPAREN,            /* RPAREN never appears in the parse tree. */
  124.  
  125.   CSET                /* CSET and (and any value greater) is a
  126.                    terminal symbol that matches any of a
  127.                    class of characters. */
  128. } token;
  129.  
  130. /* Sets are stored in an array in the compiled dfa; the index of the
  131.    array corresponding to a given set token is given by SET_INDEX(t). */
  132. #define SET_INDEX(t) ((t) - CSET)
  133.  
  134. /* Sometimes characters can only be matched depending on the surrounding
  135.    context.  Such context decisions depend on what the previous character
  136.    was, and the value of the current (lookahead) character.  Context
  137.    dependent constraints are encoded as 8 bit integers.  Each bit that
  138.    is set indicates that the constraint succeeds in the corresponding
  139.    context.
  140.  
  141.    bit 7 - previous and current are newlines
  142.    bit 6 - previous was newline, current isn't
  143.    bit 5 - previous wasn't newline, current is
  144.    bit 4 - neither previous nor current is a newline
  145.    bit 3 - previous and current are word-constituents
  146.    bit 2 - previous was word-constituent, current isn't
  147.    bit 1 - previous wasn't word-constituent, current is
  148.    bit 0 - neither previous nor current is word-constituent
  149.  
  150.    Word-constituent characters are those that satisfy isalnum().
  151.  
  152.    The macro SUCCEEDS_IN_CONTEXT determines whether a a given constraint
  153.    succeeds in a particular context.  Prevn is true if the previous character
  154.    was a newline, currn is true if the lookahead character is a newline.
  155.    Prevl and currl similarly depend upon whether the previous and current
  156.    characters are word-constituent letters. */
  157. #define MATCHES_NEWLINE_CONTEXT(constraint, prevn, currn) \
  158.   ((constraint) & 1 << (((prevn) ? 2 : 0) + ((currn) ? 1 : 0) + 4))
  159. #define MATCHES_LETTER_CONTEXT(constraint, prevl, currl) \
  160.   ((constraint) & 1 << (((prevl) ? 2 : 0) + ((currl) ? 1 : 0)))
  161. #define SUCCEEDS_IN_CONTEXT(constraint, prevn, currn, prevl, currl) \
  162.   (MATCHES_NEWLINE_CONTEXT(constraint, prevn, currn)             \
  163.    && MATCHES_LETTER_CONTEXT(constraint, prevl, currl))
  164.  
  165. /* The following macros give information about what a constraint depends on. */
  166. #define PREV_NEWLINE_DEPENDENT(constraint) \
  167.   (((constraint) & 0xc0) >> 2 != ((constraint) & 0x30))
  168. #define PREV_LETTER_DEPENDENT(constraint) \
  169.   (((constraint) & 0x0c) >> 2 != ((constraint) & 0x03))
  170.  
  171. /* Tokens that match the empty string subject to some constraint actually
  172.    work by applying that constraint to determine what may follow them,
  173.    taking into account what has gone before.  The following values are
  174.    the constraints corresponding to the special tokens previously defined. */
  175. #define NO_CONSTRAINT 0xff
  176. #define BEGLINE_CONSTRAINT 0xcf
  177. #define ENDLINE_CONSTRAINT 0xaf
  178. #define BEGWORD_CONSTRAINT 0xf2
  179. #define ENDWORD_CONSTRAINT 0xf4
  180. #define LIMWORD_CONSTRAINT 0xf6
  181. #define NOTLIMWORD_CONSTRAINT 0xf9
  182.  
  183. /* States of the recognizer correspond to sets of positions in the parse
  184.    tree, together with the constraints under which they may be matched.
  185.    So a position is encoded as an index into the parse tree together with
  186.    a constraint. */
  187. typedef struct
  188. {
  189.   unsigned index;        /* Index into the parse array. */
  190.   unsigned constraint;        /* Constraint for matching this position. */
  191. } position;
  192.  
  193. /* Sets of positions are stored as arrays. */
  194. typedef struct
  195. {
  196.   position *elems;        /* Elements of this position set. */
  197.   int nelem;            /* Number of elements in this set. */
  198. } position_set;
  199.  
  200. /* A state of the dfa consists of a set of positions, some flags,
  201.    and the token value of the lowest-numbered position of the state that
  202.    contains an END token. */
  203. typedef struct
  204. {
  205.   int hash;            /* Hash of the positions of this state. */
  206.   position_set elems;        /* Positions this state could match. */
  207.   char newline;            /* True if previous state matched newline. */
  208.   char letter;            /* True if previous state matched a letter. */
  209.   char backref;            /* True if this state matches a \<digit>. */
  210.   unsigned char constraint;    /* Constraint for this state to accept. */
  211.   int first_end;        /* Token value of the first END in elems. */
  212. } dfa_state;
  213.  
  214. /* Element of a list of strings, at least one of which is known to
  215.    appear in any R.E. matching the DFA. */
  216. struct dfamust
  217. {
  218.   int exact;
  219.   char *must;
  220.   struct dfamust *next;
  221. };
  222.  
  223. /* A compiled regular expression. */
  224. struct dfa
  225. {
  226.   /* Stuff built by the scanner. */
  227.   charclass *charclasses;    /* Array of character sets for CSET tokens. */
  228.   int cindex;            /* Index for adding new charclasses. */
  229.   int calloc;            /* Number of charclasses currently allocated. */
  230.  
  231.   /* Stuff built by the parser. */
  232.   token *tokens;        /* Postfix parse array. */
  233.   int tindex;            /* Index for adding new tokens. */
  234.   int talloc;            /* Number of tokens currently allocated. */
  235.   int depth;            /* Depth required of an evaluation stack
  236.                    used for depth-first traversal of the
  237.                    parse tree. */
  238.   int nleaves;            /* Number of leaves on the parse tree. */
  239.   int nregexps;            /* Count of parallel regexps being built
  240.                    with dfaparse(). */
  241.  
  242.   /* Stuff owned by the state builder. */
  243.   dfa_state *states;        /* States of the dfa. */
  244.   int sindex;            /* Index for adding new states. */
  245.   int salloc;            /* Number of states currently allocated. */
  246.  
  247.   /* Stuff built by the structure analyzer. */
  248.   position_set *follows;    /* Array of follow sets, indexed by position
  249.                    index.  The follow of a position is the set
  250.                    of positions containing characters that
  251.                    could conceivably follow a character
  252.                    matching the given position in a string
  253.                    matching the regexp.  Allocated to the
  254.                    maximum possible position index. */
  255.   int searchflag;        /* True if we are supposed to build a searching
  256.                    as opposed to an exact matcher.  A searching
  257.                    matcher finds the first and shortest string
  258.                    matching a regexp anywhere in the buffer,
  259.                    whereas an exact matcher finds the longest
  260.                    string matching, but anchored to the
  261.                    beginning of the buffer. */
  262.  
  263.   /* Stuff owned by the executor. */
  264.   int tralloc;            /* Number of transition tables that have
  265.                    slots so far. */
  266.   int trcount;            /* Number of transition tables that have
  267.                    actually been built. */
  268.   int **trans;            /* Transition tables for states that can
  269.                    never accept.  If the transitions for a
  270.                    state have not yet been computed, or the
  271.                    state could possibly accept, its entry in
  272.                    this table is NULL. */
  273.   int **realtrans;        /* Trans always points to realtrans + 1; this
  274.                    is so trans[-1] can contain NULL. */
  275.   int **fails;            /* Transition tables after failing to accept
  276.                    on a state that potentially could do so. */
  277.   int *success;            /* Table of acceptance conditions used in
  278.                    dfaexec and computed in build_state. */
  279.   int *newlines;        /* Transitions on newlines.  The entry for a
  280.                    newline in any transition table is always
  281.                    -1 so we can count lines without wasting
  282.                    too many cycles.  The transition for a
  283.                    newline is stored separately and handled
  284.                    as a special case.  Newline is also used
  285.                    as a sentinel at the end of the buffer. */
  286.   struct dfamust *musts;    /* List of strings, at least one of which
  287.                    is known to appear in any r.e. matching
  288.                    the dfa. */
  289. };
  290.  
  291. /* Some macros for user access to dfa internals. */
  292.  
  293. /* ACCEPTING returns true if s could possibly be an accepting state of r. */
  294. #define ACCEPTING(s, r) ((r).states[s].constraint)
  295.  
  296. /* ACCEPTS_IN_CONTEXT returns true if the given state accepts in the
  297.    specified context. */
  298. #define ACCEPTS_IN_CONTEXT(prevn, currn, prevl, currl, state, dfa) \
  299.   SUCCEEDS_IN_CONTEXT((dfa).states[state].constraint,           \
  300.                prevn, currn, prevl, currl)
  301.  
  302. /* FIRST_MATCHING_REGEXP returns the index number of the first of parallel
  303.    regexps that a given state could accept.  Parallel regexps are numbered
  304.    starting at 1. */
  305. #define FIRST_MATCHING_REGEXP(state, dfa) (-(dfa).states[state].first_end)
  306.  
  307. /* Entry points. */
  308.  
  309. #if __STDC__
  310.  
  311. /* dfasyntax() takes two arguments; the first sets the syntax bits described
  312.    earlier in this file, and the second sets the case-folding flag. */
  313. extern void dfasyntax(int, int);
  314.  
  315. /* Compile the given string of the given length into the given struct dfa.
  316.    Final argument is a flag specifying whether to build a searching or an
  317.    exact matcher. */
  318. extern void dfacomp(char *, size_t, struct dfa *, int);
  319.  
  320. /* Execute the given struct dfa on the buffer of characters.  The
  321.    first char * points to the beginning, and the second points to the
  322.    first character after the end of the buffer, which must be a writable
  323.    place so a sentinel end-of-buffer marker can be stored there.  The
  324.    second-to-last argument is a flag telling whether to allow newlines to
  325.    be part of a string matching the regexp.  The next-to-last argument,
  326.    if non-NULL, points to a place to increment every time we see a
  327.    newline.  The final argument, if non-NULL, points to a flag that will
  328.    be set if further examination by a backtracking matcher is needed in
  329.    order to verify backreferencing; otherwise the flag will be cleared.
  330.    Returns NULL if no match is found, or a pointer to the first
  331.    character after the first & shortest matching string in the buffer. */
  332. extern char *dfaexec(struct dfa *, char *, char *, int, int *, int *);
  333.  
  334. /* Free the storage held by the components of a struct dfa. */
  335. extern void dfafree(struct dfa *);
  336.  
  337. /* Entry points for people who know what they're doing. */
  338.  
  339. /* Initialize the components of a struct dfa. */
  340. extern void dfainit(struct dfa *);
  341.  
  342. /* Incrementally parse a string of given length into a struct dfa. */
  343. extern void dfaparse(char *, size_t, struct dfa *);
  344.  
  345. /* Analyze a parsed regexp; second argument tells whether to build a searching
  346.    or an exact matcher. */
  347. extern void dfaanalyze(struct dfa *, int);
  348.  
  349. /* Compute, for each possible character, the transitions out of a given
  350.    state, storing them in an array of integers. */
  351. extern void dfastate(int, struct dfa *, int []);
  352.  
  353. /* Error handling. */
  354.  
  355. /* dfaerror() is called by the regexp routines whenever an error occurs.  It
  356.    takes a single argument, a NUL-terminated string describing the error.
  357.    The default dfaerror() prints the error message to stderr and exits.
  358.    The user can provide a different dfafree() if so desired. */
  359. extern void dfaerror(char *);
  360.  
  361. #else /* ! __STDC__ */
  362. extern void dfasyntax(), dfacomp(), dfafree(), dfainit(), dfaparse();
  363. extern void dfaanalyze(), dfastate(), dfaerror();
  364. extern char *dfaexec();
  365. #endif /* ! __STDC__ */
  366.  
  367. #ifdef __cplusplus
  368. }
  369. #endif
  370.